尺寸|更多_VGGpytorch实现

篇首语：本文由编程笔记#小编为大家整理，主要介绍了VGG-pytorch实现相关的知识，希望对你有一定的参考价值。

1.网络结构

如图可见&＃xff0c;VGG网络的构造很简单&＃xff0c;通过不断地卷积&＃xff0c;池化&＃xff0c;扩大通道数&＃xff0c;降低宽高&＃xff0c;最终平展为一维数据再进行softmax分类。相较于AlexNet而言&＃xff0c;VGG最大的特征就是降低了卷积核尺寸&＃xff0c;增加了卷积核的深度层数&＃xff0c;拥有更多的非线性变换&＃xff0c;增加了CNN对特征的学习能力。

2.pytorch网络设计

这里采用的数据集为FashionMNIST数据集&＃xff0c;慢慢地往后的文章也会引入更多的数据集使用&＃xff0c;Fashion MNIST包含了10种类别70000个不同时尚穿戴品的图像&＃xff0c;整体数据结构上跟MNIST完全一致。每张图像的尺寸同样是28*28&＃xff0c;但下载下来的数据通道数为1。

#定义块
def vgg_block(num_convs, in_channels, num_channels):
layers &＃61; []
for i in range(num_convs):
layers &＃43;&＃61; [nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;num_channels, kernel_size&＃61;3, padding&＃61;1)]
in_channels &＃61; num_channels
layers &＃43;&＃61; [nn.ReLU()]
layers &＃43;&＃61; [nn.MaxPool2d(kernel_size&＃61;2, stride&＃61;2)]
return nn.Sequential(*layers)
# 网络定义
class VGG(nn.Module):
def __init__(self):
super(VGG, self).__init__()
# 这里适配输入为3x224x224的图片
self.conv_arch &＃61; ((1, 3, 64), (1, 64, 128), (2, 128, 256), (2, 256, 512), (2, 512, 512))
self.conv_arch_28x28 &＃61;((2, 256, 512), (2, 512, 512))
# 这里为了适配1x28x28的输入图片大小&＃xff0c;对原始网络层做些修改
#前四层不做池化&＃xff0c;保留原始特征
self.conv_28x28&＃61;nn.Conv2d(in_channels&＃61;1, out_channels&＃61;64, kernel_size&＃61;3, padding&＃61;1)
self.conv_28x28_2 &＃61; nn.Conv2d(in_channels&＃61;64, out_channels&＃61;128, kernel_size&＃61;3, padding&＃61;1)
self.conv_28x28_3 &＃61; nn.Conv2d(in_channels&＃61;128, out_channels&＃61;256, kernel_size&＃61;3, padding&＃61;1)
self.conv_28x28_4 &＃61; nn.Conv2d(in_channels&＃61;256, out_channels&＃61;256, kernel_size&＃61;3, padding&＃61;1)
#后4层使用VGG块构造
layers &＃61; []
for (num_convs, in_channels, num_channels) in self.conv_arch_28x28:
layers &＃43;&＃61; [vgg_block(num_convs, in_channels, num_channels)]
self.features &＃61; nn.Sequential(*layers)
self.Linear &＃61; nn.Linear(512 * 7 * 7, 4096)
self.drop1 &＃61; nn.Dropout(0.5)
self.Linear2 &＃61; nn.Linear(4096, 4096)
self.drop2 &＃61; nn.Dropout(0.5)
self.Linear3 &＃61; nn.Linear(4096, 10)
def forward(self, x):
x&＃61;F.relu(self.conv_28x28(x))
x &＃61; F.relu(self.conv_28x28_2(x))
x &＃61; F.relu(self.conv_28x28_3(x))
x &＃61; F.relu(self.conv_28x28_4(x))
x &＃61; self.features(x)
x &＃61; x.view(-1, 512 * 7 * 7)
x &＃61; self.Linear3(self.drop2(F.relu(self.Linear2(self.drop1(F.relu(self.Linear(x)))))))
return x


3.网络测试

1.数据集读取分类

# 数据增强
draw &＃61; draw_tool.draw_tool()
device &＃61; torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
transform &＃61; transforms.Compose(
[
transforms.RandomHorizontalFlip(),
transforms.RandomGrayscale(),
transforms.ToTensor()])
# 验证集不增强
transform1 &＃61; transforms.Compose(
[
transforms.ToTensor()])
train_set &＃61; torchvision.datasets.FashionMNIST(root&＃61;&＃39;F:\\\\pycharm\\\\dataset&＃39;, train&＃61;True,
download&＃61;True, transform&＃61;transform)
train_loader &＃61; torch.utils.data.DataLoader(train_set, batch_size&＃61;30,
shuffle&＃61;True, num_workers&＃61;2)
test_set &＃61; torchvision.datasets.FashionMNIST(root&＃61;&＃39;F:\\\\pycharm\\\\dataset&＃39;, train&＃61;False,
download&＃61;True, transform&＃61;transform1)
test_loader &＃61; torch.utils.data.DataLoader(test_set, batch_size&＃61;30,
shuffle&＃61;False, num_workers&＃61;2)


2.模型训练设置

model &＃61; VGG()
criterion &＃61; torch.nn.CrossEntropyLoss()
optimizer &＃61; optim.SGD(model.parameters(), lr&＃61;0.01, momentum&＃61;0.5)
model &＃61; model.to(device)


3.训练

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
for epoch in range(4):
train(epoch)
torch.save(model.state_dict(), "minist_last.pth")
draw.show()


训练部分&＃xff0c;可能是由于网络太大&＃xff0c;或者是数据集太多的缘故&＃xff0c;跑得非常慢&＃xff0c;所以这里只针对整个数据集进行了4个epoch训练&＃xff0c;训练测试结果如下&＃xff1a;

最后一次训练的精度达到了86.77%&＃xff0c;但明显可以看出还可以继续增加。

4.总结

​ VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核&＃xff08;11x11&＃xff0c;7x7&＃xff0c;5x5&＃xff09;。对于给定的感受野&＃xff0c;采用堆积的小卷积核是优于采用大的卷积核&＃xff0c;因为多层非线性层可以增加网络深度来保证学习更复杂的模式&＃xff0c;而且代价还比较小&＃xff08;参数更少&＃xff09;。

​ 在VGG中&＃xff0c;使用了3个3x3卷积核来代替7x7卷积核&＃xff0c;使用了2个3x3卷积核来代替5*5卷积核&＃xff0c;这样做的主要目的是在保证具有相同感知野的条件下&＃xff0c;提升了网络的深度&＃xff0c;在一定程度上提升了神经网络的效果。这点我认为应该是把卷积宽高改革为卷积层数&＃xff0c;能更好地去调整参数。

​ 使用3x3卷积核的好处&＃xff1a;减少了总体传入显卡的参数&＃xff0c;且有利于保护图像的原始性质。
最后非常希望有一样的初学者或者大佬能多评论留言&＃xff0c;一起分享一下过程和经历&＃xff0c;感激不尽。

5.补充

最近学着用tensorboard&＃xff0c;又跑了一遍&＃xff0c;记录一下效果。